主讲人&＃xff1a;袁野 | 旷视研究院研究员
屈鑫 编辑整理
量子位 出品 | 公众号 QbitAI

12月27日晚&＃xff0c;量子位·吃瓜社联合Face&＃43;&＃43;论文解读系列第四期开讲&＃xff0c;本期中旷视&＃xff08;Megvii&＃xff09;研究院解读了近期发表的Face Attention Network论文。

本篇论文所提出的Face Attention Network&＃xff0c;是基于分层注意力机制的人脸图像区域检测器&＃xff0c;能够在不影响速度的情况下显著提高被遮挡的人脸检测问题的召回率。

本期主讲人为旷视研究院研究员袁野&＃xff0c;同时也是论文共同一作&＃xff0c;wider face legend board第一。主要负责face detection工作。

量子位应读者要求&＃xff0c;将精彩内容整理如下&＃xff1a;

class&＃61;"video_iframe" data-vidtype&＃61;"2" allowfullscreen&＃61;"" frameborder&＃61;"0" data-ratio&＃61;"1.7647058823529411" data-w&＃61;"480" data-src&＃61;"http://v.qq.com/iframe/player.html?vid&＃61;b0529ip7kbo&width&＃61;670&height&＃61;376.875&auto&＃61;0" style&＃61;"display: none; width: 670px !important; height: 376.875px !important;" width&＃61;"670" height&＃61;"376.875" data-vh&＃61;"376.875" data-vw&＃61;"670" src&＃61;"http://v.qq.com/iframe/player.html?vid&＃61;b0529ip7kbo&width&＃61;670&height&＃61;376.875&auto&＃61;0"/>
△ 分享视频回放

这篇论文中主要提出的是如何设计和使用Attention的机制去解决大尺度变化下的遮挡问题。论文通过精心设计的anchor setting和anchor level 的attention机制能够在不影响速度的情况下显著提高被遮挡的人脸的召回率。

Face detection的主要背景

从背景上来看&＃xff0c;对于Face的检测&＃xff0c;跟General detection一脉相承。从是否需要提取proposal和是否需要对这个proposal进行二次操作的角度来简单划分的话&＃xff0c;主要分为One stage detector和Two stage detector。

这两个方法总体来说是各有利弊。One stage detector主要的优势是快速&＃xff0c;这个主要是从工程上来说&＃xff0c;假如你在手机上从一个256甚至更高维度的1024的 channel上直接crop一个feature出来&＃xff0c;是一个相当耗时的工作&＃xff0c;所以one stage天然就有很好的速度优势。

但是one stage有也存在不足&＃xff0c;它由于没有后面refine的过程&＃xff0c;在两个人脸或者是两个物体挨得比较近&＃xff0c;或者是难以辨认的情况下&＃xff0c;one stage通常会在性能上会有一定的劣势。

Face detection的挑战

在Face detection上面&＃xff0c;相比于其他有哪些特别困难的地方&＃xff1f;

首先是scale&＃xff0c;由于face自身的特殊性&＃xff0c;不论是通用物体或者行人检测&＃xff0c;通常情况下&＃xff0c;我们只是在意比较近处的物体。scale的变化远远没有人脸这么大。

其次是occlusion&＃xff0c;也就是遮挡问题。遮挡问题简单地分为两部分&＃xff1a;物体的遮挡&＃xff1b;face的自遮挡。识别戴头巾或者口罩的人脸&＃xff0c;这是一个典型的物体遮挡的问题。如果两个人挨得特别近&＃xff0c;以至于把后面的人挡住了一部分&＃xff0c;但是勉强还是可以看到另一部分&＃xff0c;这就是face的自遮挡。

那么去解决这个遮挡问题&＃xff0c;我们的motivation是什么&＃xff1f;

对于遮挡的物体&＃xff0c;我们首先需要确定这是不是一个脸&＃xff0c;或者是至少要确定这是不是一个头。这就需要context信息&＃xff0c;例如能够看到更多的地方&＃xff0c;能看到身躯或者是看到头的整个区域&＃xff0c;这样就有助于判断。这些信息可以通过合理的Anchor setting或者是合理的大感受野去隐式地学到。

此外&＃xff0c;只看context信息也会产生一些误导&＃xff0c;所以需要可见的部分来辅助确认这块区域真的是人脸&＃xff0c;而不是其他的东西。这个时候我们可以考虑用segmentation或者是attention的机制去处理。

那么基于这个motivation应该怎么去设计网络&＃xff1f;

这张图是我们主要的网络设计构架。从网络设计构架上面来说&＃xff0c;前面这个红色和这个白色的区域&＃xff0c;可以理解为一个FPN的结构&＃xff0c;可以复用多层的信息&＃xff0c;通过合理的anchor设计&＃xff0c;保证每个anchor都有较大的感觉野&＃xff0c;隐式地学习context信息。&＃xff08;c&＃xff09;这个部分是一个attention的子网络&＃xff0c;我们在得到feature之后&＃xff0c;会另开一支去学习attention&＃xff0c;之后对attention做一个E指数的操作乘到原来的feature map上面&＃xff0c;加强可见区域信息。

后面是一个类似于fast R-CNN两支操作&＃xff1a;一支做classification&＃xff0c;一支做regression。 Anchor setting设置可以保证每个人脸都有足够的感受野以及足够的context信息。底下这个attention的subnet&＃xff0c;它可以通过有监督的信息&＃xff0c;学到visible的information&＃xff0c;也就能提高对遮挡物体检测的能力。

anchor setting

先统计一下Wider face本身&＃xff0c;大概80%以上的人脸其实都是集中在16 pixel到406 pixel这样的量级上面&＃xff0c;还有约10%的量级是在8pixel到16pixel。

所以我们在设计上的时候&＃xff0c;需要考虑到如何让anchor去覆盖这么大的一个区域。Ratio上的设置&＃xff0c;我们选择了1和1:1.5&＃xff0c;其实是潜在地考虑了正脸和侧脸两种情况&＃xff0c;因为通常情况下一个face&＃xff0c;在正脸的情况下&＃xff0c;1:1都是可以接受的。侧脸的情况下&＃xff0c;可以近似到1:1.5。

P3、P4、P5、P6、P7是分别是表示我们FPN的各个layer&＃xff0c;P3表示的是一个浅层的信息&＃xff0c;然后P7表示的是越深层的信息。

在感受野上面&＃xff0c;feature的感受野是anchor的4倍左右&＃xff0c;例如P3层达到了接近99的水平&＃xff0c;是P3 anchor的四倍大小。这样就可以提供足够的context信息来保证能够检测出轮廓。铺设密度上&＃xff0c;没有选择传统的每一层只有一个anchor的铺设方式&＃xff0c;采用每层3个scale&＃xff0c;以2 ^ -1/3 步进。如果每层只铺设一个anchor&＃xff0c;就会导致个别的ground truth&＃xff0c;分配不到一个很好的anchor。

当然anchor也不是铺设得越密越好。如果把anchor铺设得更密一些&＃xff0c;比如每层每个layer铺4个anchor&＃xff0c;这样会导致的有很多的FP&＃xff0c;最终导致性能下降。

还有一个问题是&＃xff1a;我们统计出来的anchor只有16到406&＃xff0c;而wider face上有大概10%的是在8到16或者是更低的程度&＃xff0c;我们可以放弃这一部分吗&＃xff1f;

如果这个face在8pixel量级的情况下&＃xff0c;我们把它放大出来&＃xff0c;图像就很糊&＃xff0c;基本上也已经没有什么纹理的信息。加入训练会引来大量的噪声&＃xff0c;反而会导致detector性能的下降。就实验结果来看下降还是比较明显的&＃xff0c;大概会下降2到3个点。

Attention的操作

我们之前说过&＃xff0c;只有context的信息&＃xff0c;很难分辨这个物体到底是不是一个被遮挡人脸。这个时候需要加入一些attention&＃xff0c;或者是加入一些segmentation&＃xff0c;把这些区域给学出来&＃xff0c;那么到底怎么学&＃xff1f;

首先ground truth只有bounding box。那么我们就采用将bounding box的区域填1&＃xff0c;直接作为segmentation去学。由于大量的ground truth是没有遮挡的&＃xff0c;当发生遮挡时&＃xff0c;最后学出来的segmentation会对于这些未遮挡的信息更加敏感。

其次还有一个细节&＃xff0c;在我们的attention网络里面&＃xff0c;做完attention之后&＃xff0c;不是简单的点乘到原来的feature map上面&＃xff0c;而是先做了一个E指数的操作&＃xff0c;再去点乘到feature map上面。这样做就不是只保留attention高量的部分&＃xff0c;而是对高量的部分做一些增强&＃xff0c;这样能够很好地保留它原有的context信息&＃xff0c;同时也能够突出它自身那个可见区域的信息。

然后是attention机制的整体框架。我们相比于其他的attention来说&＃xff0c;attention不仅是有监督的&＃xff0c;同时不同的层赋予不同的anchor level的监督信息。

我们来简单看一下左边这张图&＃xff0c;是unsupervised的attention map&＃xff0c;unsupervised attention基本上是在随机地学&＃xff0c;这对我们来说就没有什么意义。右边这张图&＃xff0c;是加了supervised的attention之后&＃xff0c;对于一个遮挡的物体&＃xff0c;它能够很好地focus到可见的部分。

其次&＃xff0c;我们看这张图&＃xff0c;左边是全部采用统一监督信号的结果&＃xff0c;这表示如果我们把所有的layer都放上同样的监督信号&＃xff0c;网络主要focus的是一些比较显著的脸&＃xff1b;对于一些比较小的人脸学习的并不理想。右边是采用了anchor level attention的结果&＃xff0c;不同的layer根据anchor去生成不同的ground truth。这保证在不同的layer上面&＃xff0c;它focus的地方是不一样的&＃xff0c;就减轻了这些大脸对小脸的干扰。

然后这是Ablation study的信息。从base model来看&＃xff0c;它只有63点多&＃xff0c;然后通过修正anchor&＃xff0c;它能够达到79.8的水平。加入attention之后它会有一个80.9的涨幅。后面是scale test的一些技巧&＃xff0c;最终可以达到88.8&＃xff0c;相比于市面上最好的结果也要高出一个多点。

还有我们在两个主要数据集上的表现&＃xff1a;在widerface数据集上&＃xff0c;我们比第二名高了3个点&＃xff0c;比现今legend board上第一高1.2个点。在mafa这个遮挡数据集上&＃xff0c;我们比之前的AP提升了接近11个点左右。

接下来是Wider face上的检测结果&＃xff1a;不论是尺度变化比较大&＃xff0c;还是遮挡比较严重的情况都能够有很好的结果。

接下来是我们在MAFA上的处理的结果&＃xff0c;也可以看到对于这些口罩或者是在被遮挡的问题上都能处理得还不错。

简单看一下之前做的一个小demo。这是在网上下载的北京地铁的一个日常的视频&＃xff0c;可以看到我们的detect框在单个人上面是相当稳定的&＃xff0c;即使在人流比较密集的情况&＃xff0c;画质不好的情况下&＃xff0c;我们依然能够做到挺不错的。

class&＃61;"video_iframe" data-vidtype&＃61;"2" allowfullscreen&＃61;"" frameborder&＃61;"0" data-ratio&＃61;"1.7647058823529411" data-w&＃61;"480" data-src&＃61;"http://v.qq.com/iframe/player.html?vid&＃61;o052959kgm4&width&＃61;670&height&＃61;376.875&auto&＃61;0" style&＃61;"display: block; width: 670px !important; height: 376.875px !important;" width&＃61;"670" height&＃61;"376.875" data-vh&＃61;"376.875" data-vw&＃61;"670" src&＃61;"http://v.qq.com/iframe/player.html?vid&＃61;o052959kgm4&width&＃61;670&height&＃61;376.875&auto&＃61;0"/>

Paper总结

简单对paper做一些总结。

对于大尺度变化以及高遮挡的问题&＃xff0c;detector是一个十分艰巨的任务。

1. 对于这样的任务&＃xff0c;首先需要保证它有足够的感受野来提供context信息&＃xff0c;尤其是对小脸或者是遮挡的脸来说。

2. 同时在anchor assign的策略上&＃xff0c;比较密集的合理的分布&＃xff0c;能够保证ground truth都有一个很好的proposal。

3. Attention的机制可以帮助网络学到很好的可见区域。

4. 最后是Multi anchor-level attention&＃xff0c;这样能够让不同的layer去学face scale的information&＃xff0c;使小脸更好地得到学习。

除总结之外&＃xff0c;还有一些展望。

1. 刚刚看到的视频上存在有很多的FP&＃xff0c;这其实是一个很难调和的问题。比如说在识别小脸这种特别艰巨的问题的时候&＃xff0c;为了保证recall&＃xff0c;可能就会引入大量的anchor和大量的机制&＃xff0c;这样就会导致FP激增。对于这样的问题还需要进一步的探索。

2. 现在的Face Attention Network&＃xff0c;它的base model是一个很大的model&＃xff0c;如何小型化&＃xff0c;也是我们下一步将要探索的一个地方。

一则招人硬广&＃xff1a;
希望加入旷视科技&＃xff08;Megvii&＃xff09;一起登上CV巅峰的同学可以投简历至俞刚&＃xff1a;yugang&＃64;megvii.com&＃xff0c;长期招聘算法实习生。实习优秀者&＃xff0c;更有直接跳过面试阶段&＃xff0c;入职Megvii研究院的机会。

Q&A

小的人脸比较模糊&＃xff0c;为了防止引入一些噪声&＃xff0c;就把这些数据给去掉了&＃xff0c;那这些小的人脸到底有多小&＃xff0c;是怎么定义的&＃xff1f;

一部分是实验本身得出来的结论&＃xff0c;另一方面是本身我们是在8倍pixel上面去做的classification&＃xff0c;对于8倍pixel以下的人脸&＃xff0c;他在8倍的feature上&＃xff0c;它可能最后就变成了1个pixel到2个pixel&＃xff0c;本身这个任务就很艰难地完成&＃xff0c;所以我们当时就简单地先按8 pixel来去做&＃xff0c;后来实验表明的确这是一个很合理的setting。

Attention的机制和分割的联系?

Segmentation可以理解为一个简单的per pixel的classification&＃xff0c;它有很好的标注信息。但是我们的attention是一个隐式的学习的过程&＃xff0c;也就是说attention本身在ground truth的时候&＃xff0c;给它大量无遮挡的脸和一些正脸的图像&＃xff0c;让它去学习。我们在COCO上面其实是用到了segmentation&＃xff0c;加入了segmentation之后会有一个很好的涨点。

如果技术落地的话&＃xff0c;对哪些场景比较合适&＃xff1f;

目前我们发paper的这个model是很难去做一些很实时的东西。以现在paper角度上来看&＃xff0c;它可以做一些这样任务&＃xff1a;安防入库&＃xff1b;录入其他数据。也可以在云端上去做。如果说它可以小型化&＃xff0c;就有很多很开阔的场景&＃xff0c;比如说抓拍机&＃xff0c;一些人脸解锁&＃xff0c;无人化的超市等等。

框架是怎样的&＃xff1f;

这个框架应该算one stage的detector。因为后面没有接ROI pooling或者是它之类的这些衍生物&＃xff0c;主要是考虑到本身对于速度的要求。加上ROI pooling之后&＃xff0c;对高feature数进行crop 的操作会非常耗时。所以我们就采用了one stage的detector。

相关学习资源

以上就是此次旷视研究院袁野带来分享的全部内容。在量子位公众号&＃xff08;QbitAI&＃xff09;界面回复“180107”可获得完整版PPT以及视频回放链接。

第一期物体检测回顾&＃xff1a;旷视研究院解读COCO2017物体检测算法夺冠论文

第二期人体姿态估计回顾&＃xff1a;旷视研究院详解COCO2017人体姿态估计冠军论文

第三期Light-Head R-CNN回顾&＃xff1a;旷视研究院解读Light-Head R-CNN&＃xff1a;如何在物体检测中平衡精准度和速度

— 完 —

加入社群

量子位AI社群13群开始招募啦&＃xff0c;欢迎对AI感兴趣的同学&＃xff0c;加小助手微信qbitbot5入群&＃xff1b;

此外&＃xff0c;量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募&＃xff0c;面向正在从事相关领域的工程师及研究人员。

进群请加小助手微信号qbitbot5&＃xff0c;并务必备注相应群的关键词~通过审核后我们将邀请进群。&＃xff08;专业群审核较严&＃xff0c;敬请谅解&＃xff09;

诚挚招聘

量子位正在招募编辑/记者&＃xff0c;工作地点在北京中关村。期待有才气、有热情的同学加入我们&＃xff01;相关细节&＃xff0c;请在量子位公众号(QbitAI)对话界面&＃xff0c;回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ&＃39;ᴗ&＃39; ի 追踪AI技术和产品新动态